Spark亚太研究院系列丛书 Spark实战高手之路第一章构建Spark集群（第五步）（4）

来源:网络作者:网友投稿发布时间:2021-01-08 12:55

7,在SparkWorker1和SparkWorker2上完成和SparkMaster同样的Hadoop2 2 0操作，建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项...

7,在SparkWorker1和SparkWorker2上完成和SparkMaster同样的Hadoop 2.2.0操作，建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容拷贝到SparkWorker1和SparkWorker2上;

8,启动并验证Hadoop分布式集群

第一步：格式化hdfs文件系统：

Spark亚太研究院系列丛书 Spark实战高手之路第一章构建Spark集群（第五步）（4）

第二步：进入sbin中启动hdfs，执行如下命令：

Spark亚太研究院系列丛书 Spark实战高手之路第一章构建Spark集群（第五步）（4）

启动过程如下：

Spark亚太研究院系列丛书 Spark实战高手之路第一章构建Spark集群（第五步）（4）

此时我们发现在SparkMaster上启动了NameNode和SecondaryNameNode；

在SparkWorker1和SparkWorker2上均启动了DataNode：

此时访问:50070 登录Web控制可以查看HDFS集群的状况：

Spark亚太研究院系列丛书 Spark实战高手之路第一章构建Spark集群（第五步）（4）

相关热词：

本站内容来源于网络，如有侵权请与我们联系，我们会及时删除，我们深感抱歉！
注：本站所有信息仅供用于网络技术学习参考,学习中请遵循相关法律法规！

本文地址: https://v30.fanwenzhu.com/server/equal/11936.shtml

ZooKeeper集群安装	Spark教程构建Spark集群（1）
高效搭建Spark完全分布式集群	Mongodb集群搭建过程及常见错误
Kafka集群安装	基于RHCS的web双机热备集群搭建
Hbase 0.98集群搭建的详细步骤	Cloudera Manager 4.6 安装部署hado
WAS集群系列（15）：WAS集群服务	WAS集群系列（13）：举例WAS集群
WAS集群系列（9）：集群搭建：	WAS集群系列（10）：集群搭建：
WAS集群系列（12）：集群搭建：	WAS集群系列（2）：数据库连接
corosync+pacemaker and drbd实现mysq	Nagios监控生产环境redis集群服务